package org.example

import org.apache.spark.sql.SparkSession



object data1_core {
  def main(args: Array[String]): Unit = {

//
//    val spark = SparkSession
//      .builder
//      .master("local[*]")
//      .appName("spark")
//      .getOrCreate()
//    val sc = spark.sparkContext
//    val data1 = sc.parallelize(List(60, 90, 75, 80, 72), 1)
//    //val data2 = sc.makeRDD(List("how are you", "i am fine", "think you"))
//    //val data2=sc.makeRDD(List(1 to 10))
//
//    //分析数据 map filter flaptMap sortBy take
//    val res1 = data1.map(x => x + 2).filter(_ >= 80).sortBy(y => y, false).take(1)
//    //val res2 = data2.flatMap(_.split(" "))
//
//
//    val first_half = sc.textFile("E:\\ab06\\spark\\Employee_salary_first_half.csv")
//    val drop_first = first_half.mapPartitionsWithIndex((ix, it) => {
//      if (ix == 0) it.drop(1)
//      it
//    })
//
//    val split_first = drop_first.map(line => {
//      val data = line.split(",");
//      (data(1), data(6).toLongOption)})
//    val sort_first = split_first.sortBy(x => x._2, false).take(3)
//    sort_first.foreach(println)
//
//
//    //res1.foreach(System.out.println)
//    //res2.collect().foreach(println)
//    sc.stop()


  }
}